Passa ai contenuti principali

BIG DATA (IT.1)

Tateo’s Interdisciplinary Lifelong Learning Project
T I L L L
LEARNING - SHARING - NETWORKING
Learning, knowledge sharing and Communities engagement about:
Artificial Intelligence, Extended / Augmented / Virtual / Mixed Reality (XR/AR/VR/MR), Automation, Electronics, Computer Science and Information and Communication Technology, Mobility, Problem Solving & Innovation, Readings, Social Media, Digital Modeling and Simulation, Computer Vision, Work & Soft Skills, Railway.
by Tateo Giovanni Battista
_____________________________
LEARNING
COMPUTER SCIENCE
Computer Science, Information & Communication Technology, Big data, Cloud Computing, Edge Computing, Computer graphics, Super-computing, Computer programming, Operative Research, Mobility and mobile technology, Blockchain, IT events.

The phenomenon of the production of large quantities of data, characteristic of modern computer applications.

Il fenomeno della produzione di grosse quantità di dati, caratteristico delle moderne applicazioni informatiche.

We are talking about#computerScience #bigData #newOil #dataScience #informationAge #TateoBlog #TILLL

SummaryAnalysis of the phenomenon of the increase in the volume of digital information that is available thanks to new information and telecommunication technologies. Identification of the strategic opportunities that are offered by their elaboration

Analisi del fenomeno dell’aumento del volume di informazioni digitali che sono disponibili grazie alle nuove tecnologie informatiche e di telecomunicazione. Individuazione delle opportunità strategiche che sono offerte dalla loro elaborazione.


~ o ~

You are >>> HERE <<< within the TILLL project.
Ti trovi >>> QUI <<< all'interno del progetto TILLL.



~ o ~

Article content index.
Indice dei contenuti dell'articolo.

The topics treated in this article are summarized below by means of the list of the titles of its paragraphs.
Gli argomenti trattati in questo articolo vengono di seguito sintetizzati mediante l'elenco dei titoli dei suoi paragrafi.

 §1. Data, the “new oil” of the modern times.

       I Dati, il “nuovo petrolio” dei tempi moderni.

 §2. “Data Science” and Big Data” term meaning.

       La “Scienza dei Dati “ ed il significato del termine “Bid Data”.

 §3. Volume, Velocity, Variety, Value and Visibility of Big Data.

      Volume, Velocità, Varietà, Valore e Visibilità dei Big Data.

 §4. Big Data phenomena from Industrial Automation point of view.

      Il fenomeno dei Big Data dal punto di vista dell’Automazione Industriale.

 §5. Sources, References and insight.

       Fonti, riferimenti ed approfondimenti.

 §6. More generally.

       Più in generale.

 §7.  Stay up to date.

       Rimani aggiornato.

 §8.  Let's keep in touch.

       Teniamoci in contatto.

 §9. Some info about the founder and author of the TILLL project.

      Qualche informazione sul fondatore ed autore del progetto TILLL.


I hope you find something interesting inside, something that is akin to your favorite topics and your way of thinking. Enjoy the reading.
Spero che tu trovi qualcosa di interessante all'interno, qualcosa che sia affine ai tuoi argomenti preferiti ed al tuo modo di pensare. Buona lettura.



~ o ~

§1. Data, the “new oil” of the modern times.

I Dati, il “nuovo petrolio” dei tempi moderni.



The rapid evolution of technology is significantly affecting the economy and the value of things. A distinctive consequence of new electronic and information technologies is the production and availability of huge volumes of data. Well, this new resource constitutes the new form of value in the modern economy that replaces the resources that in the past held the supremacy. It is no coincidence that the data are now defined as "new oil"
La rapida evoluzione della tecnologia sta sensibilmente condizionando l'economia ed il valore delle cose. Una conseguenza distintiva delle nuove tecnologie elettroniche ed informatiche è la produzione e disponibilità di enormi volumi di dati. Ebbene, questa nuova risorsa costituisce la nuova forma di valore nella moderna economia che sostituisce le risorse che nel passato hanno detenuto il primato. Non a caso i dati sono definiti oggi come "new oil".

“Process optimization and “intelligent” data management 
must be the basis of any modern business strategy.”
L’ottimizzazione dei processi e la gestione “intelligente” del dato 
devono essere alla base di qualsiasi strategia aziendale moderna.
(Fabrizio Moneta, Regional Head & Sales Director - Analytics, Platform and Technologies at SAP)

The availability of huge amounts of data of any kind, be they numerical, textual or multimedia, is now a reality. But only the companies that know how to manage it will be able to profit from them, for the following purposes:
La disponibilità di enormi quantità di dati di qualsiasi tipo, siano essi numerici, testuali o multimediali, è ormai una realtà. Ma solo le aziende che sapranno gestirla riusciranno a trarre profitto da esse, per i seguenti fini:

§ Customer care. Using data and information on customers, products and services can be improved to respond more appropriately to customer needs, obtaining a higher level of loyalty;
Cura del Cliente. Utilizzando dati e informazioni sui Clienti si possono migliorare i prodotti ed i servizi per rispondere in modo più congruo alle esigenze del cliente ottenendo un livello di fidelizzazione maggiore;

§ Increased efficiency. Through the optimization of logistics it is possible to obtain a better organization of resources, rationalizing and eliminating waste;
Incremento della efficienza. Attraverso la ottimizzazione della logistica si può ottenere una organizzazione migliore delle risorse, razionalizzando ed eliminando gli sprechi;

§ Risk reduction. By analyzing the historical trends of the phenomena, predictive tools can be created that indicate their evolution in advance.
Riduzione dei rischi. Analizzando gli andamenti storici dei fenomeni si possono creare degli strumenti predittivi che ne indichino in anticipo l'evoluzione.

Hashtag keywords: #computerScience #bigData #newOil #dataScience #informationAge #TateoBlog #TILLL
-----------------------------------------

July 9, 2022



~ o ~


§2. “Data Science” and Big Data” term meaning.

La “Scienza dei Dati “ ed il significato del termine “Bid Data”.


The discipline that deals with the study of large volumes of data is known as "data science". Its inception is relatively recent and has grown along with the development and widespread adoption of computers. It should be noted that before the advent of computers, data were calculated and processed by hand mainly using the tools of "statistics".

La disciplina che si occupa dello studio  di grandi volumi di dati, è nota col nome di "scienza dei dati". La sua nascita è relativamente recente ed è cresciuta di pari passo con lo sviluppo e l'ampia adozione dei computer. Si osservi che prima dell'avvento dei computer, i dati venivano calcolati ed elaborati a mano utilizzando prevalentemente gli strumenti della “statistica”.


In particular, when dealing with a huge amount of data, the term "Big Data" is more properly used instead of the term "Data Science". You will agree that the term "Big Data" has recently become the most inflated term and that it transversally involves many sectors. So it is easy to hear about Big Data in the field of Industrial Automation (internet of Things), Electronics (sensors, wearable devices), Artificial Intelligence (data mining, machine learning), Mobile Devices, and of course Information Technology. But what does Bid Data actually mean?

In particolare, quando si ha a che fare con una enorme quantità di dati, in luogo del termine "Data Science" si utilizza più propriamente il termine di "Big Data". Converrete che il termine "Big Data" è diventato negli ultimi tempi il termine più inflazionato e che esso coinvolge trasversalmente molti settori. Per cui è facile sentire parlare di Big Data in ambito di Automazione Industriale (internet of Things), di Elettronica (sensors, wearable devices), di Intelligenza Artificiale (data mining, machine learning), Dispositivi Mobili, e di Informatica ovviamente. Ma cosa di intende in effetti di Bid Data?


Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it…”

"I Big Data sono come il sesso tra adolescenti: ognuno ne parla, nessuno sa davvero come farlo, ognuno pensa che tutti gli altri lo stiano facendo, così ognuno dice di farlo…"

( author: cit. Dan Ariely, Professor at Duke University )


When the amount of data, their variety, and the speed at which they are produced, or change over time, challenge conventional processing methods, then we speak of "Big Data". So with Big Data we mean the ability to process huge collections of data that it would be impossible to make sense of without the help of a computer, and in order to extract from them information unthinkable to obtain in the past.

Quando la quantità di dati, la loro varietà, e la velocità con cui sono prodotti, o cambiamo al trascorrere del tempo, sfidano i metodi di elaborazione convenzionali, allora si parla di "Big Data". Quindi con Big Data intendiamo la capacità di elaborare enormi raccolte di dati a cui sarebbe impossibile dare un senso senza l'aiuto di un computer, ed al fine di estrarre da essi informazioni impensabili da ottenere in passato. 


Big Data refers to data-set whose size is beyond the ability of typical database software tools to capture, store, manage, and analyze”

"Big Data si riferisce a set di dati le cui dimensioni vanno oltre la capacità dei tipici strumenti software di database di acquisire, archiviare, gestire e analizzare"

( author: McKinsey Global Institute )



~ o ~

§3. Volume, Velocity, Variety, Value and Visibility of Big Data.

Volume, Velocità, Varietà, Valore e Visibilità dei Big Data.


One of the technologies that have favored the generation of Big Data is represented by the Internet Of Things (shortly IoT) which practically consists of equipping the sensors distributed in the field, of telematic connectivity and therefore of the ability to transmit the acquired data. The sensors, connected to the network, are therefore able to provide their contribution no longer, or not only, to a dedicated and local processing unit, but to a centralized and remote control unit.

Una delle tecnologie che hanno favorito la generazione dei Big Data è rappresentato dall’Internet Of Things (brevemente IoT) che consiste praticamente nella dotazione ai sensori distribuiti in campo, della connettività telematica e quindi della capacità di trasmettere i dati acquisiti. I sensori, collegati in rete, sono quindi in grado di fornire il loro contributo non più, o non solo, ad una unità di elaborazione dedicata e locale, bensì ad una unità di controllo centralizzata e remota.


Volume. The adjective "Big" assigned to the name of the BigData phenomenon explicitly refers to the exceptional amount of data that can be produced by modern systems. In fact, the term Big Data in its most common meaning refers to the large amount of data that can no longer be managed with traditional tools such as databases. However, the "volume" of the data produced is not the only distinctive character of this information.

Volume. L'aggettivo "Big" assegnato al nome del fenomeno BigData fa riferimento esplicitamente alla eccezionale quantità di dati che possono essere prodotti dagli impianti moderni. Infatti il termine Big Data nella sua accezione più comune fa riferimento alla grande mole di dati che non è più possibile gestire con degli strumenti tradizionali come ad esempio i data base. Tuttavia,  il “volume” dei dati prodotti non è il solo carattere distintivo di queste informazioni.


Velocity of production and transmission. Another distinctive aspect of Big Data is the speed with which such data is produced. This aspect raises the problem of transmission, and of the coordination between the various transmissions so that the data reaches the processing center in a short enough time to be processed together with all the other data coming from the other sensors and to produce the results in useful times.

Velocità di produzione e trasmissione. Un altro aspetto distintivo dei Big Data è la velocità con cui tali dati sono prodotti. Questo aspetto pone il problema della trasmissione, e della coordinazione tra le varie trasmissioni in modo che i dati giungano al centro di elaborazione in tempi sufficienti brevi per essere elaborati insieme a tutti gli altri dati provenienti dagli altri sensori e per produrre i risultati in tempi utili.


Variety and memorization. Another distinctive aspect is the "variety". In fact, the analog big data collected from the physical world can be disparate: values of electrical voltage, pressure, vibration, acceleration, temperature, sound, electromagnetic waves, images and so on. All these heterogeneous data must be collected in real time in a storage accessible by the system that will have to process them by correlating them. Storing and archiving this data in shared network storage is a major problem because if the archiving method is not effective enough, then you risk saturating the capacity of your servers soon.

Varietà e memorizzazione. Un altro aspetto distintivo è la “varietà”. Infatti i big data analogici raccolti dal mondo fisico possono essere disparati: valori di tensione elettrica, pressione, vibrazione, accelerazione, temperatura, suono, onde elettromagnetiche, immagini e così via. Tutti questi dati eterogenei devono essere collezionati in tempo reale in uno storage accessibile dal sistema che dovrà elaborarli correlandoli tra loro. La memorizzazione e la archiviazione di questi dati in uno storage condiviso in rete rappresenta un problema primario perché, se non il metodo di archiviazione adottato non è sufficientemente efficace, allora si rischia di saturare presto la capacità dei server.


Value. Another distinctive aspect of Big Data is the “value” that the information contained therein has for the business. Today, the availability and accessibility of data by all company levels plays a fundamental role in the success of a company, because it allows for the definition of shared business strategies. But how do you extract the "value" from the data? This task is accomplished by modern Analytics technologies that deal with the transformation of raw data into valuable information, which business decision makers use to make reasoned decisions in ever shorter times, obtaining important advantages over competitors.

Valore. Un altro aspetto distintivo dei Big Data è il “valore” che le informazioni in essi contenute hanno per il business. Oggi la disponibilità e l’accessibilità dei dati da parte di tutti i livelli aziendali gioca un ruolo fondamentale il successo di un'azienda, perché permette di definire strategie di business condivise. Ma come si estrae il "valore" dai dati? Questo compito è assolto dalle moderne tecnologie di Analytics che si occupano per l'appunto della trasformazione dei dati grezzi in informazioni di valore, che i decision maker aziendali, utilizzano per prendere decisioni ragionate in tempi sempre più brevi, ottenendo importanti vantaggi rispetto ai concorrenti.


Visibility and accessibility. Another distinctive aspect of Big Data, and which is acquiring a determining role, is "visibility". That is, it is not enough for the data to be collected and processed. They must also be able to go beyond company boundaries to be shared, if necessary, geographically. For example, in order to perform effective benchmarking, a company's engineers may need to access engineering data from production lines located in different parts of the world. Therefore, having IT systems interconnected through the cloud becomes an essential 'glue' for the operation of applications.

Visibilità e accessibilità. Un’altro aspetto distintivo dei Big Data, e che sta acquisendo un ruolo determinante, è la "visibilità". Cioè, non basta che i dati siano raccolti ed elaborati. Essi devono anche poter uscire dai confini aziendali per essere condivisi, se necessario, a livello geografico. Ad esempio, per poter eseguire efficaci analisi comparative, i tecnici di una società potrebbero dover accedere ai dati ingegneristici di linee di produzione dislocate in diverse parti del mondo. Dunque avere sistemi IT interconnessi attraverso il cloud diventa un ‘collante’ essenziale per il funzionamento delle applicazioni.


Analytics. The other fundamental "glue" for the proper functioning of applications is the development and adoption of analytical engines and algorithms capable of intelligently and in real time processing the enormous amount of information that continuously arises from IoT applications. For example, it is desirable that these algorithms act directly in the field, in the vicinity, possibly embedded, of the systems that produce the data immediately downstream of the sensor. In this motion, the quantity of data to be transmitted is limited, possibly adapting the quality to that actually useful. Therefore, at the same time, the transmission network, the storage servers, and the processing processors, resulting less overloaded, benefit enormously.

Analytics. L’altro "collante" fondamentale per il corretto funzionamento delle applicazioni è rappresentato dallo sviluppo e dall’adozione di motori e algoritmi analitici in grado di elaborare con intelligenza e in tempo reale l’enorme mole di informazioni che scaturisce di continuo dalle applicazioni IoT. Per esempio è auspicabile che tali algoritmi agiscano direttamente in campo, in prossimità, eventualmente embedded, dei sistemi che producono i dati immediatamente a valle del sensore. In questo moto si limita la quantità di dati da trasmettere, adattandone eventualmente la qualità a quella effettivamente utile. Quindi contestualmente la rete di trasmissione, i server di archiviazione, ed i processori di l’elaborazione, risultando meno sovraccaricati, ne traggono enorme beneficio. }



~ o ~

§4. Big Data phenomena from Industrial Automation point of view.

Il fenomeno dei Big Data dal punto di vista dell’Automazione Industriale.


One of the cornerstones on which my lifelong learning project is based is interdisciplinarity, that is the treatment of themes that involve multiple disciplines and skills. Therefore, the aim is to find the points of contact between the various disciplines, thus promoting the observation of phenomena from different points of view and the contamination of knowledge.

Uno dei punti cardine su cui si fonda il mio progetto di apprendimento continuo (Lifelong Learning) è la interdisciplinarietà, ossia la trattazione di temi che coinvolgono più discipline e competenze. Pertanto, lo scopo è quello di trovare i punti di contatto tra le varie discipline, promuovendo in tal modo l’osservazione dei fenomeni da punti di vista differenti e la contaminazione dei saperi.


So, if you want to deepen the study of the Big Data topic, also from the industrial automation point of view, as well as from the information technology point of view, then allow me to invite you to read the following article, which belongs to the “Automation” (AU) area of Tateo~Encyclopedia (En).

Quindi, se vuoi approfondire lo studio dell’argomento Big Data, anche dal punto di vista dell’automazione industriale, oltre che dal punto di vista informatico, allora permettimi di invitare a leggere il seguente articolo, che appartiene all’area tematica “Automazione” (AU) di Tateo~Encyclopedia (En).


BIG DATA AND INDUSTRIAL AUTOMATION 

I Big Data e l’Automazione Industriale,

(AU.1)



~ o ~

§5. Sources, References and insight.

Fonti, riferimenti ed approfondimenti.


Listed below are many references to sources I have consulted during the writing of this article and I suggest you use them to go deeper into the topics covered within.

In seguito ho riportato alcuni riferimenti alle fonti che ho consultato durante la redazione di questo articolo e che ti suggerisco di utilizzare per approfondire gli argomenti che ho trattato al suo interno.


[ 1 ] Machine Learning for Absolute Beginners - Oliver Theobald



~ o ~

§6. More generally.

Più in generale.


In this article we talked about Big Data phenomena, which represents one of the more interesting aspect of the modern information technology. But if you want to examine all the other interesting aspects of the Information Technology, then allow me to suggest you the reading of the following article which is the main one of the thematic area dedicated to this discipline, within Tateo~Encyclopedia (En).

In questo articolo abbiamo parlato del fenomeno dei Big Data, che rappresenta uno degli aspetti più interessanti della moderna tecnologia informatica. Ma se vuoi approfondire tutti gli altri aspetti interessanti dell'Information Technology, allora permettimi di suggerirti la lettura del seguente articolo che è il principale dell'area tematica dedicata a questa disciplina, all'interno di Tateo~Encyclopedia (En)}


Computer Science and Information Technology.

Informatica e Tecnologie dell’Informazione.

(IT)


~ o ~

§7. Stay up to date.
Rimani aggiornato.

If you are interested in the topics covered in the current article and want to be informed about my most recent updates dealing with them, then I invite you to register on the following Facebook page and Pinterest dashboard which I dedicated specifically for sharing the most recent changes made to the corresponding thematic area of TILLL~Learning (>).
Se sei interessato agli argomenti trattati nell'articolo corrente e vuoi essere informato sui miei aggiornamenti più recenti che trattano di essi, allora ti invito a registrarti sulla seguente pagina Facebook e bacheca Pinterest che ho dedicato appositamente per la condivisione delle modifiche più recenti apportate all'area tematica corrispondente di TILLL~Learning (>).

"Computer Science and Information Technology by TILLL" on Facebook (link)
"Computer Science and Information Technology by TILLL" on Pinterest (link)

-----------------------------------------

updated July 9, 2022



~ o ~

§8. Let's keep in touch.
Teniamoci in contatto.

I hope you enjoyed this article, belonging to the Learning (>) section of the Tateo's Interdisciplinary Lifelong Learning (TILLL) project (>), and that the notes and observations I gathered within it meets your interests. If you want stay tuned with the TILLL project evolution, then I invite you to follow the next upgrades that are published on the TILLL's Blog and on the social media pages dedicated to the TILLL community.
Spero che questo articolo, appartenente alla sezione Learning (>) del progetto Tateo's Interdisciplinary Lifelong Learning (TILLL) (>), ti sia piaciuto e che le note e le osservazioni che ho raccolto al suo interno soddisfino i tuoi interessi.  Se vuoi rimanere aggiornato sull'evoluzione del progetto TILLL, allora ti invito a seguire i prossimi aggiornamenti che vengono pubblicati sul Blog di TILLL e sulle pagine social dedicate alla community TILLL.


  (>Tateo-Blogofficial blog of TILLL project

  (>LinkedIn page dedicated to TILLL project

  (>Facebook page dedicated to TILLL project

  (>Twitter account dedicated to TILLL project

  (>Pinterest account dedicated to TILLL project

  (>Instagram account dedicated to TILLL project



~ o ~ 


§9. Something about me, the founder and author of TILLL Project.

Qualcosa su di me, il fondatore e sull'autore del progetto TILLL.


First of all, thank you for visiting one of the pages of my project for Interdisciplinary Continuous Learning (TILLL which stands for Tateo's Interdisciplinary LifeLong Learning), of which I am the founder and author.

My name is Giovanni Battista Tateo (shortly Bat).

Innanzitutto ti ringrazio per aver visitato una delle pagine del mio progetto per l'Apprendimento Continuo Interdisciplinare (TILLL che sta per Tateo's Interdisciplinary LifeLong Learning), di cui io sono lil fondatore e l'autore.

Mi chiamo Giovanni Battista Tateo (brevemente Bat).


The Tateo~Blog (link) is an integral part of the project constitutes the means of sharing all updates. 

I was initially an Information Technology expert, and later I became an electronic engineer, specializing in industrial Automation. I'm passionate about Artificial intelligenceVirtual RealitySimulation, and I'm an expert in Artificial Vision applied to industrial Automation. Currently, and starting four years ago, I am employed as a Proposal Engineer at Mer Mec S.p.A. (:::) company. Previously, starting in 2004, I was employed, always at the same company, as a Designer of Artificial Vision Systems and Image Processing Algorithms, applied in particular to Railway Diagnostics. I am a supporter and promoter of Lifelong LearningSocial Networking and Knowledge Sharing by means of the web. If you want more details about me, visit the About Me (:::) page.

Il blog Tateo~Blog (link) è parte integrante del progetto costituisce il mezzo di condivisione di tutti gli aggiornamenti. 

Sono stato in principio un esperto di Informatica, e in seguito sono diventato un Ingegnere Elettronico, specializzato in Automazione Industriale. Sono un appassionato di Intelligenza ArtificialeRealtà VirtualeSimulazione, e sono un esperto di Visione Artificiale applicata all'Automazione Industriale. Attualmente, ed a partire dall'anno 2016, sono impiegato come Proposal Engineer presso la società Mer Mec S.p.A. (:::). Precedentemente, a partire dal 2004, sono stato impiegato, sempre presso la stessa società, come Progettista di Sistemi di Visione Artificiale e di Algoritmi di Elaborazione delle Immagini, applicati in particolare alla Diagnostica Ferroviaria. Sono un sostenitore e promotore dell'apprendimento permanente, dei social network e della condivisione delle conoscenze tramite il web. Se vuoi ulteriori dettagli su di me, visita la pagine About Me (:::).


  Contact me. Following you can find my personal references that you can use if you want to contact me directly, and the links to my social accounts that you can use to follow me or to keep in touch with me by means of social media networks.

  ContattamiPer chi scrive non c’è soddisfazione maggiore di quella che si prova sapendo di essere stato letto e di aver ispirato e fornito esperienze e pratiche utili. Per cui, chiunque contattarmi utilizzando uno dei riferimenti seguenti. Sarò felice di poterti leggere e di confrontarmi con te, di poter leggere le tue critiche, i tuoi suggerimenti, le tue riflessioni e, spreto anche i tuoi complimenti.


Giovanni Battista Tateo (aka Bat)

    - e-mail: tateogb@libero.it (send e-mail)

    - phone / WhatsApp : (+39) 388 8419726

    - LinkedIn account (link)

    - Facebook account (link)

    - Twitter account (link)

    - Instagram account (link)

    - Pinterest account (link)

    - Skype (link)


-----------------------------------------

Originally published November 25, 2020,

updated August 20, 2022 

into the Learning section of

TILLL

the Lifelong and Interdisciplinary Learning project of Giovanni Battista Tateo

Commenti